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(57) Abstract 

Described is a method 
and device for storing, 
searching for and playing 
back audiovisual data and 
data files, using a multimedia 
multiplexing and multimedia 
control protocol with a control 
unit for the multimedia data 
flow in a separate virtual 
control channel as specified 
in ITU-T H.245, with a data 
multiplexer and demultiplexer 
as specified in ITU-T H.223, 
with a video-compression 
and encoding device and 
a video-decompression and 
decoding device jas specified 
in e.g. ITU-T H.263, with an 
audio/voice -compression and 
aud io/voice -decompression 
device using at least 
one high-compression 
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Beschrei bung; 

Verfahren und Einrichtung zum Speichern, Suchen und Abspielen 
von audiovisuellen Inf ormationen und Datenfiles 

Die Erf indung betrif ft ein Verfahren und eine Einrichtung zum 
Speichern, Suchen und Abspielen von audiovisuellen Inf orma- 
tionen und Datenfiles. Insbesondere betrif ft sie somit ein 
Multimedia- Speicherger&t . 

Die Speicherung und das J^bspielen von Multimediainf ormationen ; 
(Video, Audio, Daten, Stquer- Inf ormationen) auf digitalen 
Speichermedien (z.B. CD-I^OM, optisch beschreibbare Festplatte,; 
magnetische Festplatte) i'st eine der wichtigsten Funktionen in 
Multitnedia-Systemen. f 

Obwohl die Kapazitat der speicherbaren Inf ormationen auf digi- 
talen Speichermedien stSLtig wachst, bereitet die groBe Daten- 
menge von Multimedia- Inf ormationen itnmer noch ein massives 
Speicherproblem . 

r- 

Eine erf indungsgem&Ee Anoirdnung ermoglicht gegenuber den bekan 
nten Verfahren eine wesehtlich h6here Kompression, ein ef f ek- 
tiveres Multiplexing und ^ine ef fektivere Steuerung von multi- 
medialen Datenstromen (s.;Tabelle 1). 

Dagegen erlaubt das standardisierte Verfahren ISO/IEC 11172 - 
auch als MPEG-1 bekannt - mit 1,5 Mbits/s die Speicherung von 
ungefahr 1 Stunde audiovisuelle Information auf CD-ROM. Auch 
andere, nicht standardisierte audiovisuelle Kompress ions ver- 
fahren, die in PC-Anwendungen verbreitet sind, ermoglichen bei 
schlechterer Bild- und Ton-QualitSt ungef &hr 1 Stunde 
gespeichertes audiovisuelles Programm . 
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etwa 41 Minuten 


etwa 10 Minuten 
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540 


etwa 38 Stunden 


etwa 9 Stunden 


etwa 2,25 Stunden 



Tabelle 1 - Beispiele fur Abspieldauer von auf ITU H.324 



basierenden multimedialen Speictierlosungen 

Die Qualitat des MPEG-1 Videos und der MPEG-1 Audio ist in der 
Regel zwar besser als die in der Tabelle 1 aufgelistete Ver- 
fahren, es gibt jedoch zahlnreiche Anwendungen, wd eine vermin- 
derte Video- und Audio-QualitSt vollkommend ausreicht (z.B. 
Multimedia - Mail, Video-Bilder mit Kopf und Schulter, 
Multimedia-Lexika) . X 

Die Erf indung macht sich bedarf sweise - abhangig: von den ein- 
zelnen Realisierungsf ormen und Besonderheiten - die folgenden 
Inf ormationstechnologie- und/oder Kommunikationstechnologie- 
Standards zunutze : 

• Die in der ITU-T gegenwartige Normierung von Sprachkodierern 
mit sehr niedriger Bitraten fur das Bildf ernsprechen (ITU-T 
G.723) im offentlichen Telef onwahlnetz (GSTN) fuhrt zu 
quali-tativ guten Sprachkodierern (annahernd der Qualitat 
der CCITT G.726 Empfehlung) mit Ubertragungsgeschwindigkeit 
von 5,3-6,3 kbit/s. Auch der ITU-T G . 72 9-Sprachkoder 
ermoglicht eine digitale Sprachubertragung mit 8 kbit/s 
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Geschwindigkeit . In der Zukunft wird auch ein 4 kbit/s Coder 
standardisiert (ITU-T G.4kbit/s) . Diese Codecs sind derzeit 
die leisungsf Shigsten Sprachcodecs . 

• Die in der gegenwartige ITU-T- Normierung von Bewegtbild- 
kodierern mit sehr niedriger Bitraten z.B. fur das Bildf ern- 
sprechen im of f entlichen Telef onwShlnetz (ITU-T H.263) fuhrt 
zu qualitativ guten Bewegtbildkodierern (QCIF Auflosung 180 
x 144 und weniger) mit der minimal benotigten 
Ubertragungsge-schwindigkeit von 8-24 kbit/s (bzw. hoher) , 
die eine ge-sicherte Ubertragungsart (z.B. mit ITU-T H.223) 
erfordern. Eine Erh6hung der .Bildauf 16sung uber die im 
Standard defi-nierten Werte i-.B. auf CIF (360 x 288) Oder 
ITU-T 601 (720 x 576) erlaubt die Ubertragung von 
Bewegtbilder mit Fernsehen- bzw. Bewegtbilder gem&S der 
Aufl6sung der digitaler Studio-Norm ITU-R 601. 

• Die gegenwartige Normierung in der ITU-T von Multiplexing 
von audiovisuellen Datenarten mit sehr niedriger Bitraten 
z.B. fur das Bildf ernsprechen im 6ff entlichen 

Telef onwahlnetzen mit Ubertragungsgeschwindigkeit von 9,6-32 
kbit/s (und hoher) , die eine gesicherte Ubertragungsart 
(ITU-T H.223 gfemAB) erm6glictit. Dieses Prinzip kann auch fur 
Speicher-systeme angewendet vterden. 

• Die gegenwartige ITU-T -Normierung (ITU-T H.245) bezuglich 
dem Steuern von audiovisuellen Datenarten mit sehr niedriger 
Bit-raten, beispielsweise fur das Bildf ernsprechen im 

of fentli-chen Telef onwahlnetzen, die eine flexible Zuordnung 
von bis zu 15 unabhangigen Nutzkanalen, jeweils mit Audio- 
/Sprache-, Video- oder Dateninf ormation ermoglicht. Dieses 
Prinzip kann auch fur Speichersysteme angewendet werden. 
Jeder Kanal verfugt uber eine flexible Bandbreite, die von 
Anwendung zu Anwendung im Laufe der Spe i cher - Anwendung 
beliebig variieren kann. 



Ein Multimediales-Speichersystem besteht aus mehreren Funk- 
tionseinheiten. Die Video-I/O-Ger&te (Input /Output) enthalten 
z.B. eine Kamera, einen Bildschirm und eine Bildauf bereitungs- 
einheit fur das Einblenden von mehreren Bildern ("split- 
screen") . In einer gunstigen Ausgestaltung konnen alle Gerate 
tats&chlich angeschlossen werden. Die Audio/Sprach-I/O-Gerate 
schliefien das Mikrof on (oder mehrere) , den Lautsprecher (oder 
mehrere) , und die Audio/Sprachaufbereitungs-^inheit (z.B. fur 
Echounterdruckung) ein. Auch hier konnen in ^iner gunstigen 
Ausgestaltung alle Gerate tatsachlich angeschlossen sein. Die 
Sys terns teuerung steuert das Gesamtsystem, d.h., sie sbrgt fur 
die Multfimedia-S teuerung fur den Multimedia-Multiplexer und fur 
die gesamte Multimedia-System-Steuerung. Der Video-Codec sorgt 
fur die digitale Kompression und Dekompression des videosignals 
beim Video-Enkoder bzw. Video -Dekoder. Der Audio/Sprach-Codec 
sorgt fur die digitale Kompr e s s ion/Dekompr e s s ion des Au- 
dio/Sprachsignals . Eine wahlweise Verzogerung des Sprachsignals 
kann vorgenommen werden um die Lippen- synchronisation zwischen 
Video und Sprache zu erreichen. Der Multiplexer/Demultiplexer 
legt beim multimedialen Abspeichern die Audio!- , Video- und 
Datensignale in einem gemeinsamen Datenstrom ;zusammen, bzw. 
trennt Beim Abruf aus der multimedialen Datenbank den gemeinsa- 
men multimedialen Datenstrom in getrennte Audio- , Video- und 
Datensignale auf . 

Die System- S teuerung besteht aus der Steuerung des Multimedia- 
Multiplexing (nach ITU-T H.245), und des gesamt Multimedia- 
Spechersystems (z.B. Laden/Beenden des Multimedia Speicher 
Programms im Rechner) . 

Bei dem Multimedia-Multiplexing nach ITU-T H.245 kann man bis 
zu 15 Nutz-Kanale eroffnen und benutzen. Vor dem Abspeichern 
der Nutzkanale erfolgt nach H.245 eine Aushandlung und Ein- 
stellung der Benutzerparameter. Dabei signalisiert der Daten- 
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Figur 1 zeigt das Blockdiagramm eines Ausfuhrungsbeispiels ei- 




WO 96/32717 



PCT/DE96/00618 



5 



Speicher die breiteste M6glichkeit der Speicherung von multi- 
medialen Inf ormationen, und die speichernde Anwendung ent- 
scheidet letztendlich und w&hlt aus, welche multimedialeh 
Kan&le er6ffnet werden sollen und wie die multiraediale Spei- 
cherung in den Daten-Speicher erfolgen soil. 

Bei der Speicherung einer audiovisueller Nachricht ("Voice- 
Mail") konnten beispielsweise ein Kanal fur Video, ein Kanal 
fur Sprache, ein Datenkanal fur die "Voice-Mail" Steuerung 
(Addressierung, Zeit des "Voice-Mails" Ablegens u.s.w.) und das 
obligator;Lsche ITU-T H.245 Multimedia-Steuerkanal er6ffnet 



Bei der Speicherung eines audiovisuellen deutsch-f ranzosischen 
Sprachkurses konnten beispielsweise ein Kanal fur Video, je ein 
Kanal fur Ton in deutscher und in franzosischer Sprache, je ein 
Datenkanal Kanal fur den deutschen und fur den f ranz6sischen 
Begleit-Text, ein Daten-Kanal fur die Sprachkurs-Programm- 
Steuemng, und ders obi iga tori sche ITU-T H.245 Multimedia- 
Steuerkanal eroffnet werden. 

Bei der Speicherung einer Sport f ilm-Sequenz (z.B. Fufiball) 
konnte beispielsweise zun&chst ein Kanal dem Ton und ein Kanal 
dem Bild zugeornet werden. Nach einem Tor z.B.ikdnnten z.B. 
kurzfristig funf Kanale fur Video zugeordnet warden. Jedem 
Kanal wird eine andere Kameraeinstellung zugewiesen. Dadurch 
k6nnte der Anwender beim Abspieien dynamisch eine beliebige 
Kameraeinstellung <z.B, von oben, aus der Torpespektive, von 
hinten, yon der Seite) ausw&hlen. 

Auch vor dem Abspieien der Nutzkanale erf olgt ein Aushandeln 
und Einstellen der Benutzerparameter nach ITU-T H.245. Dabei 
signalisiert der Daten- Speicher die breitest mogliche Speiche- 
rung von multimedialen Inf ormationen . Auch hier trif f t letzt- 
endlich die abspielende Anwendung (d.h. das Multimedia Spei- 
chersystem) die Auswahl der zu eroffnenden Multimedia- Kanale 



werden . 



Das Multimedia-Multiplexing ist in Figur 2 dargestellt. Die 
unterste Schicht PS ist die physikalische Schicht. Diese wird 
im Rechner-Bus, der Schnittstelle zwischen dem externen Digi- 
tal-Speicher (CD-ROM, Festplatte uswj und dem Multimedia- 
Multiplexing, realisiert. Der Multiplexer (Shnlich ITU-T H.223, 
mit dem Unterschied, daS multimediale Daten nicht fur ein 
analoges Telefonnetz, sondern fur den BUS eines Rechners be- 
reitgestellt werden) verfugt uber zwei Schichten: Eine sog. 
Adaptations -Schicht ("Adaptation Layer") AL und eine Multiplex - 
Schicht ("Multiples Layer") ML. Die Adaptations- Schicht i^AL ist 
zustandig fur die Anpassung der diversen Inf ormationsstrome - 
die von den verschieden Media-Quellen (Video, Audio/Sprache, 
Daten) stammen - an die Multiplex- Schicht ML. In Figur 2 sind 
vier Adaptations -Schichten AL spezifiert, eine Daten- Adapta- 
tionsschicht ("Data Adaptation Layer") DAL, eine Audio/Sprach- 
Adaptat ions -Schicht ("Audio Adaptation Layer") AuAL, eine Video 
Adaptations Schicht ("Video Adaptation Layer") VAL und eine 
Steuerungs-Adaptations-Schicht ("Control Adaptation Layer) CAL ; 
zur Ubertragung von Multimedia -Steuerdaten. Jede Adaptations 
Schicht bedient siph in der Multiplex- Schicht ML den Di^nsten 
einer sog. Konvergfenzunterschicht ("Convergence Sublayet" ) CS 
und einer sog. Segmentierungs/Zusatnmensetungs-Unterschipht 

("Segmentation and Reassembly Sublayer") SARS. Die Konvergenz- 
unterschicht CS sorgt fur Fehlererkennung und fur die Fehler- 
korrektur. Die Segmentierungs/Zusatnmensetungs-Unterschicht SARS 
sorgt fur die Fregmentierung der Datenstrome in sog. SAR-SDUs 

("SDU - Service Data Unit"), zugeschnitten fur die Multiplex - 
Schicht ML. 

Uber der Video-Adaptionsschicht AL befindet sich der Video- 
Codec (Video) der die Video- Inf ormationen codiert bzw. 
decodiert . Uber der Audio-Adaptionsschicht AL befindet sich der 
Audio-Codec (Audio) der die Audio- Inf ormationen codiert bzw. 
decodiert. Uber der Daten-Adaptionsschicht AL (Daten) befinden 
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und legt fest, wie das multimediale Abspielen aus dem Daten- 
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sich die fur die Datenanwendung notwendigen Datenprotokolle . 
Ein spezieller Datenkanal ist den ITU-T H. 245-Multimedia- 
Steuerungs-Protokollen zugeordnet. 

Die Adapt ions schicht en AL zeigen beim Speichern Ubertragungs- 
fehler an, es werden Fehlerkorrekturen veranlaBt . Ferner 
f ragmentieren die Adapt ions schicht AL die Inf ormat ions strome in 
kleinere Einheiten. Die Multiplex-Schicht ML sorgt fur das 
Multiplexen der verschieden Inf ormat ions typen, die von den 
Adaptionsschichten AL vorbereitet werden. 

Die Multiplex- Schicht ML sorgt beim Zugreif en/Abspielen fur das 
Demultiplexing des angekontmenen Datenstromes in Datenf ragmente 
der verschiedenen Inf ormat ionss typen, die an die jeweils zu- 
st&ndige Adapt ionsschicht AL weitergeleitet werden. Die Adap- 
tionsschichten AL setzen aus den Datenf ragmenten die einzelnen 
Datenstrorae zusammen, die an die Anwendungen (Sprache /Audio, 
Video, Daten, Multimedia Steuerung) weitergeleitet werden. 



1. Verfahren zum Speichern, Suchen und Abspielen von hochkom- 
primierten audiovisuellen Inf orraationen und Datenf iles eines 
Multimedia-Speichergerates unter Verwendung eines Multimedia- 
Multiplexing- und Multimedia-Steuerungs-Protokolls mit den 
folgenden Verf ahrensschritten: 

a) Multimedia- Inf ormationstrome werden in einem ersten sepa- 
raten virtuellen Steuerkanal gemaS ITU-T H.245 zum Ermoglichen 
von flexibler Zuordnung und gleichzeitiger Behandlung von 
mehreren , Audio/ Sprach, Video und Datenkanalen fur Multimedia 
Kommunikation gesteuert ; 

b) Video- und/oder Audio/Sprach- und/oder Datehinf ormationen 
und/oder Steuerinf ormation werden zum Ermoglichen flexibler 
Zuordnung, von KanalkapazitcLten entsprechend der momentanen 
Bedurfnisse der beim genannten Steuem zugeordneten Kan&le nach 
ITU-T H.223 gemultiplext bzw. demultiplext ; 

c) Videosignale werden - vorzugsweise gema£ ITU-T H.263 - 
komprimiert und kodiert, bzw. dekomprimiert und dekodiert; 

d) die Audio- bzw. Sprachsignale werden unter Verwendung eines 
hochkomprimierenden Sprachkompressionsalgorithmus komprimiert 
bzw. dekomprimiert ; 

e) das Multimedia-Speichergerat wird uber eineh zweiten 
separaten virtuellen Steuerkanal gesteuert. 

2. Einrichtung zum Speichern, Suchen und Abspdelen von hoch- 
komprimierten audiovisuellen Inf ormationen und Datenf iles eines 
Multimedia-Speichergerates unter Verwendung eines Multimedia- 
Multiplexing- und Multimedia-Steuerungs-Protokolls, 

- mit einer Inf ormationsstromsteuerung zum Steuem der Multi- 
media- Inf orma-tionstrome in einem separaten virtuellen Steuer- 
kanal gemafi ITU-T H.245, urn eine flexible Zuordnung und die 
gleichzeitige Behandlung mehrerer Audio/Sprach-, Video- und 
Datenkanale fur Multimedia Kommunikation zu ermoglichen ; 
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- mit einem Multiplexer und Demultiplexer zum Multiplexen bzw. 
Demultiplexer! von Video- und/oder Audio/Sprach- und/oder Daten- 
inf ormationen und/oder Steuerinf ormation nach ITU-T H.223, urn 
eine flexible Zuordnung von Kanalkapazit&ten entsprechend der 
momentanen Bedurfnisse der durch die genannte Steuerung 
zugeordneten Kanale zu ermoglichen; 

- mit einer Videokompressions- und Kodierungsvorrichtung zum 
Komprimieren und Kodieren und mit einer Video-Dekompressions- 
und Dekodierungsvorrichtung zum Dekomprimieren und Dekodieren 
von Videosignalen vorzugsweise gemaE ITU-T H.263; 

s - mit einer Audio/Sprachkompressions- und Audio/Sprachdekom- 
, press ions vorrichtung zum Komprimierei} bzw. Dekomprimieren von 
■'Audio- bzw. Sprachsignalen mit einem ^hochkomprimierenden 
Sprachkompressionsalgorithmus ; und 

: - mit einer Ger&testeuerung zum Steuejrn des Multimedia- Spei- 
chergerSts uber einen weiteren separaten logischen Steuerkanal. 

3. Einrichtung nach Anspruch 2, dadurcli gekennzeichnet, daE 
der zweite separate virtuelle Steuerkanal ein zusatzlich eroff- 
neter virtueller Datenkanal gemafi ITU-T H.245 ist. 

4. Einrichtung nach einem der Anspruche 2 und 3, dadurcli ge- 
kennzeichnet, da& die Audio/Sprachkomjpressions- und Audio/ 
jSprachdekompressionsvorrichtung minde^tens mit einem Sprach- 
kompressionsalgorithmus nach ITU-T GJ723.1, ITU-T G.729, ITU-T 
G,728, ITU-T G.722, ISO/IEC 11172-3 oder nach ITU-T G.4kbit/s 
'betreibbar ist . 

5. Einrichtung nach einem der Anspruche 2 bis 4, dadurch ge- 
kennzeichnet, daS das Multimedia-Speichergerat durch einen 
Computer mit magnetischem Festplattenspeicher realisiert ist. 

6. Einrichtung nach einem der Anspruche 2 bis 4, dadurch ge- 
kennzeichnet, daS das Multimedia-Speichergerat ein Computer mit 
einer nur lesenden optischen Speichereinrichtung ist. 



einer schreibenden und lesenden optischen Speichereinrichtung 
ist . 
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7. Einrichtung nach einem der Anspruche 2 bis 4, dadurch ge- 
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